N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models
N-Gram 记忆两比特量化：LLM 查找表压缩
🧭 LLM 条件记忆嵌入表压缩
Dnotitia Inc. · KAIST
共享 Gaussian trellis 与 norm restoration 将条件记忆行压缩为 2-bit 码，KL 较 2-bit RTN 降低 41-63%，DeepSeek 表由 203GB 降至 51GB
📌 工作参考价值（4 点）
- 大规模稀疏 embedding 表（用户/商品 ID、行为序列记忆、检索索引）可借鉴 CP 的“短码 + 局部 scale + 共享重建程序”：每行仅存 2-bit 码与 scale，离线共享解码器，线上仅解码被查行，显著降低 GPU 显存占用。
- 独立可解码行记录对推荐推理友好；线上 batch 只查少量 ID，无需全局反量化，可将压缩表常驻 GPU 或高速存储，保持稀疏 lookup 延迟。
- 先统计业务 embedding 坐标是否接近高斯，再选择非均匀量化/格码；若不满足，可先做归一化或白化，配合 norm restoration 使用，避免直接 round-to-nearest 的精度损失。
- 同等存储预算下，共享 trellis 优于 per-table 拟合码本和低秩残差；优先采用全局共享重建结构，训练时联合微调局部 scale，可进一步提升压缩效率。